Appearance
Regional and institutional trends in assessment for academic promotion
Summary
Problem: 现有关于学术晋升评估的研究多局限于特定地理区域（如欧洲、北美），缺乏全球视角下的系统性比较。学术界普遍认为量化指标（如文献计量学）是评估研究绩效的通用标准，但这种观点忽视了实际评估实践的复杂性和多样性。本研究旨在填补这一空白，通过分析全球范围内的晋升政策，揭示不同地区、机构和学科在评估标准上的共性与差异。
Approach: 作者采用横截面研究设计，系统收集并分析了2016年至2023年间来自190个学术机构和58个政府机构的532份晋升政策文件（涵盖121个国家）。研究识别了30项关键评估标准，分为5大类（研究产出、职业发展、认可、教学与服务、一般特质），并通过频率统计、因子分析和多元回归分析来比较不同政策类型、地区和学科之间的差异。
Finding: 研究发现：量化评估方法虽仍普遍（92%的政策使用），但并非无处不在；全球南方与全球北方在评估标准上存在显著差异，机构政策与国家政策也有明显不同，但学科之间的差异相对较小；中高收入国家更偏好文献计量指标；许多晋升政策基于特定职业路径的假设，这种规范性做法限制了研究人员的多样性发展机会。
Significance: 该研究挑战了当前普遍采用量化评估的实践，为研究人员、研究管理者和国家政府提供了战略性参考。研究结果表明，评估政策需要更加注重多样性和包容性，而非遵循单一的职业发展路径假设，这对于构建健康、多元的研究生态系统具有重要意义。
Theoretical Framework
- Theoretical tradition: 科学计量学与科研评估研究传统，结合批判性评估理论视角。
- Prior theories built upon: 莱顿宣言（Leiden Manifesto）中对数据驱动评估的批判；SCOPE评估指南中关于评估应与机构使命目标一致的主张；香港原则（Hong Kong Principles）中关于研究诚信的强调；UNESCO开放科学建议书中关于评估应奖励良好实践的观点。
- Causal mechanism: 评估政策的设计反映了制度环境（国家收入水平、地区发展状况）和组织特征（机构类型、政策层级），这些因素通过影响评估标准的选择，进而塑造研究人员的职业发展路径和机会结构。
- Key assumptions: 假设晋升政策文件能够真实反映实际评估实践；假设不同国家的“教授”职位具有可比性；假设政策中明确列出的标准即为实际使用的标准。
- Theoretical move: 本研究应用并扩展了现有评估理论，将原本局限于特定地区的实证发现推广到全球范围，同时挑战了量化评估普遍适用的假设，揭示了评估实践的多样性和情境依赖性。
- Scope conditions: 研究仅涵盖大学内的学术晋升评估，不包括研究机构、临床环境或商业环境中的评估；聚焦于正教授晋升，不涉及其他职业阶段；不提供国家层面的具体分析。
Research Design
本研究为横截面调查研究，采用内容分析方法对晋升政策文件进行系统编码和分析。分析单元为单个晋升政策文件（n=532）。关键自变量包括：政策类型（机构政策 vs. 国家政策）、全球区域（全球北方 vs. 全球南方）、国家收入水平（世界银行分类）、大洲、学科领域、职业轨道（标准学术轨道、研究导向轨道、教学导向轨道、临床轨道）以及是否为正教授专属政策。因变量为30项评估标准的存在与否，以及通过因子分析提取的4个潜在因子（产出指标、可见性与参与度、职业发展、成果与影响）。评估标准通过二分变量（存在/不存在）进行操作化。
Data & Sample
- 样本量: 532份政策文件（来自190个学术机构的314份机构政策和58个政府机构的218份国家政策）
- 覆盖范围: 121个国家（全球北方32国，全球南方89国）
- 数据收集: 通过全球青年科学院（Global Young Academy）成员及校友网络收集，分三个阶段：试点阶段（2016-2018年，46份政策）、第一阶段（2018-2021年，196份政策）、更新与扩展阶段（2023年，新增440份政策）
- 时间跨度: 2016年5月至2023年11月
- 加权处理: 采用抽样后加权，使同一组织的每份政策权重相等、同一国家内每个组织权重相等、每个国家按其活跃研究人员数量比例加权
- 样本特征: 73%的组织位于欧洲和北美以外，比以往研究更具全球多样性
Analytical Strategy
- 频率统计: 使用设计加权F检验（Wald检验）比较不同类别政策中各项标准的使用频率差异
- 因子分析: 采用主因子分析（principal factor analysis）结合oblimin斜交旋转，提取4个潜在因子，解释65%的累积方差
- 多元回归分析: 对每个因子分别进行回归分析，控制变量包括全球区域、国家人均收入、大洲、职业轨道、学科领域、政策是否专属正教授等
- 稳健性检验: 比较包含和不包含工作特征（学科、轨道、正教授专属）的模型，使用似然信息准则评估模型拟合优度
- 单侧等价检验: 用于检验全球南北差异是否达到至少5个百分点的实质性差异
Results & Findings
主要发现一：评估标准的总体分布 研究产出（97%）、教学（93%）、经费获取（79%）和指导（75%）是最常被提及的评估标准。研究产出更多通过量化指标（92%）而非质性指标（77%）评估。量化指标中，专利（63%）和发表数量（61%）最为常见；质性指标中，社会影响（53%）最为普遍。
主要发现二：政策类型差异 国家政策更强调研究产出指标（如期刊索引、近期发表），而机构政策范围更广，更重视质性指标（如发表质量）、跨学科性和长期科学前景。这一差异主要存在于全球北方，全球南方两种政策类型在质性指标使用上无显著差异。
主要发现三：全球南北差异 全球南方（95%）比全球北方（84%）更依赖量化指标，但这一差异在常规统计水平上不显著（P=0.1188）；不过单侧等价检验显示差异至少达到5个百分点（P=0.0028）。全球北方更常使用质性指标（83% vs. 61%），但同样因组内高变异性而统计不显著（P=0.0712）。
主要发现四：因子分析揭示的评估模式 四个潜在因子分别代表：产出指标（量化评估发表和奖项）、可见性与参与度（学术和社区参与、跨学科努力、受邀职位和奖项）、职业发展（海外经历、专业发展、专业服务和指导）、成果与影响（专利、经费、社会影响、长期前景、商业化与咨询）。量化与质性指标在因子中明显分离，表明组织往往在两种方法之间做出明确选择并一致应用。
主要发现五：工作特征影响有限 学科、职业轨道和职级等直觉上相关的因素，其系数大多不显著。仅工程学科显著更强调成果与影响；研究导向轨道更重视可见性和成果与影响，但较少强调职业发展；正教授专属政策较少强调职业发展。
主要发现六：地区与收入水平差异 与欧洲相比，亚洲政策较少强调可见性和职业发展但更重视成果与影响；拉丁美洲较少依赖产出指标和可见性；大洋洲更重视成果与影响。全球南方在产出指标、可见性和职业发展上均显著高于全球北方。中高收入国家更强调指标而较少强调可见性；低收入国家在可见性和成果与影响上均较弱。
主要发现七：模型比较 包含政策文件特征（大洲、全球区域、国家经济状况）的模型显著优于仅含截距的模型（对数似然改善19%-127%），但加入工作特征并未一致改善模型拟合，进一步支持了工作特征影响有限的结论。
Limitations
- 研究仅覆盖大学内的晋升评估，不包括研究机构、临床环境或商业环境中的评估
- 聚焦于正教授晋升，不涉及其他职业阶段或角色
- 不提供国家层面的具体分析，无法揭示国家内部差异
- 政策文件可能无法完全反映实际评估实践中的隐性标准或执行差异
- 样本收集依赖全球青年科学院网络，可能存在一定的选择偏差
- 未分析政策执行过程中的实际评估行为，仅基于政策文本
Key Contributions
- 首次提供全球范围内学术晋升评估政策的系统性比较，覆盖121个国家，远超以往研究的地理范围
- 揭示了全球南方与全球北方在评估实践上的显著差异，挑战了量化评估普遍适用的假设
- 通过因子分析识别出四种不同的评估模式，为理解评估政策设计提供了新的分析框架
- 发现工作特征（学科、轨道、职级）对评估标准的影响有限，而政策文件特征（地区、收入水平）影响显著
- 为研究人员、研究管理者和政策制定者提供了关于评估实践多样性的实证依据，有助于推动更包容和多元的评估改革
Key Claims
"Although quantitative methods of assessment remain popular, in agreement with what is found in more geographically restricted studies5–9, they are not omnipresent." (Abstract)
"We find differences between the Global North and the Global South as well as between institutional and national policies, but less so between disciplines." (Abstract)
"A preference for bibliometric indicators is more marked in upper-middle-income countries." (Abstract)
"Although we see some variation, many promotion policies are based on the assumption of specific career paths that become normative rather than embracing diversity. In turn, this restricts opportunities for researchers." (Abstract)
"These results challenge current practice and have strategic implications for researchers, research managers and national governments." (Abstract)